891. Орлов А.И., Шаров В.Д. Метод выявления отклонений в системе контроллинга (на примере мониторинга уровня безопасности полетов) // Национальные интересы: приоритеты и безопасность. 2014. № 26 (263). С.54 – 64.

УДК 629.735.33:004.021
УГРОЗЫ И БЕЗОПАСНОСТЬ
DANGERS AND SAFETY

МЕТОД ВЫЯВЛЕНИЯ ОТКЛОНЕНИЙ В СИСТЕМЕ КОНТРОЛЛИНГА (НА ПРИМЕРЕ МОНИТОРИНГА УРОВНЯ БЕЗОПАСНОСТИ ПОЛЕТОВ)

DETECTION METHOD OF DEVIATIONS IN CONTROLLING SYSTEM (FOR EXAMPLE, MONITORING THE LEVEL OF FLIGHT SAFETY

Орлов А.И., доктор экономических наук, доктор технических наук, кандидат физико-математических наук, профессор, заведующий лабораторией экономико-математических методов в контроллинге Научно-образовательного центра «Контроллинг и управленческие инновации», Московский государственный технический университет им. Н.Э. Баумана, 
E-mail: prof-orlov@mail.ru

Шаров В.Д., кандидат технических наук, начальник инспекции по безопасности полетов ЗАО «Авиакомпания «Меридиан» (Москва)
E-mail: sharov@meridian-avia.com

Orlov A.I., Doctor of Economics, Doctor of Technics, Candidate of Physical and Mathematical Sciences, Professor, Head of Laboratory of economic-mathematical Methods in Controlling of Scientific and Educational Center «Controlling and managerial innovations», Bauman Moscow State Technical University,
E-mail: prof-orlov@mail.ru

Sharov V.D., Candidat of Technics, Chief of Flight Safety Inspectorate JSC "Airline "Meridian" (Moscow)
E-mail: sharov@meridian-avia.com

Аннотация
Контрольные карты предложено использовать как инструмент выявления отклонений в системе контроллинга. Это предложение обсуждается на примере мониторинга уровня безопасности полетов. Рассматривается возможность использования в практике авиакомпаний нового показателя уровня безопасности полетов, а также нового метода его мониторинга. В качестве показателя предлагается показатель ERC, разработанный группой ARMS, а в качестве метода его ежемесячного и еженедельного мониторинга – метод кумулятивных сумм. 

Annotation
Control charts are proposed to use as a tool to detect deviations in the controlling system. This proposal is considered for monitoring flight safety. Possibility of use in practice of airlines of a new indicator of flight safety level and a new method of its monitoring is discussed. As an indicator the ERC of ARMS group, and as a method of monthly and weekly monitoring – a method of the cumulative sums are offered.

Ключевые слова: контроллинг, выявление отклонений, показатель уровня безопасности, метод кумулятивных сумм.

Key words: controlling, detection of deviations, indicator of safety level, cumulative sums method.

Введение. Контроллинг – это научно-практическая направление, в котором объединились специалисты по современным технологиям управления, по управленческим инновациям. 
Обсуждение содержания понятия «контроллинг» продолжается. Так, «контроллинг – ориентированная на долгосрочное и эффективное развитие система информационно-аналитической, методической и инструментальной поддержки руководителей предприятия по достижению поставленных целей…» [25]. Можно выразить ту же мысль несколько иначе: «система контроллинга – это система информационно-аналитической поддержки процесса принятия управленческих решений в организации». Обратим внимание на то, что система создается постепенно, охватывая одну область принятия решений за другой. 
Уточним сказанное. «В определении контроллинга можно выделить философскую, функциональную, организационную и научную составляющие … Относительно функциональности контроллинг можно определить как ориентированную на перспективу систему информационно-аналитической, методической и инструментальной поддержки руководства при реализации цикла управления по всем функциональным сферам  деятельности предприятия и процессам» [10]. Настоящая статья посвящена функциональной составляющей контроллинга.   
Как соотносятся сферы ответственности контроллера (или службы контроллинга) и руководителя организации? Контроллер разрабатывает правила принятия решений, руководитель принимает решения, опираясь на эти правила. Данная мысль высказана С.Г. Фалько на одном из заседаний научного семинара Лаборатории экономико-математических методов в контроллинге Научно-образовательного центра «Контроллинг и управленческие инновации» МГТУ им. Н.Э. Баумана. Она дает основу для выявления в структуре организации подразделений и лиц, решающих задачи контроллинга, хотя бы в названиях этих подразделений и должностей указанных лиц термин «контроллинг» отсутствовал. «Лучшие компании мира, успешно развивающиеся в течение многих десятилетий, всегда исповедовали философию контроллинга, даже если и не пользовались этим термином, учитывая при этом скорость изменений внешней среды и возможность прогнозирования будущего» [10]. Подчеркнем, что термин «контроллинг» не всегда используется для наименования деятельности в рассматриваемой области. Так, на ежегодно проводимых Институтом проблем управления РАН международных конференциях «Управление развитием крупномасштабных систем» (в 2013 г. состоялась седьмая конференция) из более чем тысячи прочитанных докладов только в названиях двух докладов имелся термин «контроллинг», хотя, по нашей оценке, вопросы контроллинга рассматривались по крайней мере в 40% докладов.
В статье [16] нами обоснована концепция «контроллинга методов». Инновации в сфере управления основаны, в частности, на использовании новых адекватных организационно-экономических (а также математических и статистических) методов. Контроллинг в этой области – это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам. В деятельности управленческих структур выделяем интересующую нас сторону – используемые ими организационно-экономические методы. Такие методы рассматриваем с точки зрения их влияния на эффективность (в широком смысле) процессов управления предприятиями и организациями. Если речь идет о новых методах (для данной организации), то их разработка и внедрение – управленческая инновация, соответственно контроллинг организационно-экономических методов можно рассматривать как часть контроллинга инноваций [26]. 
1. Контрольные карты – инструмент выявления отклонений. Анализ отклонений в системе контроллинга - одна из важнейших задач оперативного контроллинга [10, разд.2.5]. При мониторинге процесса изменения контролируемых величин всегда обнаруживаются те или иные отклонения от плановых значений. Проблема состоит в том, чтобы принять одно из двух возможных управленческих решений:
 – либо признать, что отклонения лежат в допустимых пределах, а потому нет необходимости в корректирующих воздействиях;
– либо констатировать, что нельзя игнорировать наличие отклонений, поскольку они вышли за допустимые пределы, а потому необходимо вмешательство в контролируемый процесс с целью коррекции отклонений.
При мониторинге процессов с целью выявления отклонений применяют метод контрольных карт Шухарта и карт кумулятивных сумм [13]. Впервые контрольные карты были разработаны в 1924 г. У. Шухартом – сотрудником Bell Telephone Laboratories. Цель применения контрольных карт – отделить существенные отклонения от случайных. Всякая контрольная карта состоит из центральной линии, соответствующей плановому значению контролируемой величины, двух контрольных границ, над и под центральной линией (иногда используют только одну границу), и значений контролируемой величины, нанесенных на карту для представления состояния процесса. Если все эти значения оказываются внутри контрольных границ, то процесс рассматривается как находящийся в контролируемом состоянии, коррекция не требуется. Если они выходят за контрольные границы, то процесс признается вышедшим из-под контроля, а потому необходимо корректирующее воздействие.
Первоначально контрольные карты применялись для статистического регулирования технологических процессов [24, гл.7]. В этой предметной области выход процесса из-под контроля называется «разладкой», а контрольные карты рассматриваются как инструмент обнаружения разладки, корректирующее воздействие – это наладка. За прошедшие почти 90 лет были разработаны различные методы обнаружения разладки и соответствующие программные продукты (см., например, [15, 18, 19]). 
Затем контрольные карты стали использоваться в других предметных областях, в частности, в экономике и менеджменте. Так, в статье [14] контрольные карты были применены для мониторинга размера премиального фонда подразделения организации.
При оценке рисков управления в практике контроллинга [23] продемонстрированы cсистемные преимущества анализа отклонений с учетом существенности информации [12]. Возможностям использования метода факторного анализа отклонений в контроллинге посвящена работа [11]. Предлагаемый нами метод обнаружения значимых отклонений соответствует концепции оценки и управления риском при реализации инновационных проектов создания интеллектуальной продукции [29].
2. Мониторинг уровня безопасности полетов. В настоящей статье рассмотрим применение контрольных карт при решении одного из типов задач контроллинга в авиакомпании, а именно, при мониторинге уровня безопасности полетов.
В 2010 – 1013 гг. для Группы авиакомпаний «Волга-Днепр» выполнен инновационный проект по разработке автоматизированной системы прогнозирования и предотвращения авиационных происшествий (см. [1 – 3]). Речь идет о разработке системы организационно-экономических методов поддержки принятия управленческих решений в области управления безопасностью полетов (см. [4, 5, 20, 34]), весьма важной для предприятий гражданской авиации. Эта система будет играть роль службы контроллинга, снабжая руководителей, отвечающих за безопасность полетов, правилами принятия решений и проектами решений в конкретных ситуациях. Другими словами, разрабатываемая система обеспечивает информационно-аналитическую поддержку процесса принятия управленческих решений в области безопасности полетов, а потому является основой системы контроллинга в этой области. Отсутствие термина «контроллинг» в официальном названии разрабатываемой системы объясняется традициями, сложившимися в кластере организаций, разрабатывающих систему, и не может затушевать ее реальные функции. 
Были предложены новые подходы к разработке показателей уровня безопасности полетов в авиакомпании, их мониторингу с целью управления безопасностью полетов (см. [4, 21, 22, 30]). Далее рассмотрим развитие этих подходов.
Проблема мониторинга текущего уровня безопасности полетов (БП) актуальна для авиакомпании (АК). На регулярных операционных совещаниях руководству АК обычно демонстрируются в той или иной форме диаграммы, отражающие динамику изменения уровня БП. При этом используются различные показатели БП и разные методы их представления во времени.
Третье издание Руководства по управлению безопасностью полетов Международной организации гражданской авиации (РУБП ИКАО) [36] рассматривает данную проблему более конкретно, чем предыдущие, но по прежнему предлагает использовать на уровне АК практически те же показатели, что и на уровне государства. В АК чаще всего в качестве показателей используется относительное число событий на 1000 час. или 1000 полетов [7, 9]. При этом события обычно делят в соответствии с «Правилами расследования авиационных происшествий и инцидентов с гражданскими воздушными судами в Российской Федерации (ПРАПИ-98)» на инциденты и производственные происшествия, в основном это повреждения воздушных судов (ВС) на земле. Иногда рассматриваются и менее значимые события типа «предвестников». Очевидно, что такие показатели ввиду существенной разницы в опасности и реальном ущербе событий не отражают реальную ситуацию на уровне АК. 
Предпочтительнее выглядит «интегральный показатель БП» [8], в котором разным событиям присваиваются разные веса в зависимости от вида «особой ситуации» по АП-25, с которыми ассоциируются эти события. Однако при расчете этих весов принимается, что серьезности событий соотносятся также как допустимые вероятности возникновения соответствующих особых ситуаций, что не всегда оправдано.
Для расчета серьезности событий («прошлого риска») иногда применяют матрицу риска из РУБП ИКАО, не учитывая, что она оперирует качественными оценками и разработана исключительно для прогнозирования [31].
Для демонстрации динамики применяются разные виды скользящего среднего (см. [7, 9]). При этом бывает сложно выбрать оптимальный период осреднения: при малом периоде наблюдаются резкие скачки показателя, а при длительном периоде он слабо реагирует на события. 
В данной статье предлагается использовать в качестве показателя уровня БП для внутренних оценок АК новый показатель группы ARMS, а для оценки его динамики применять метод кумулятивных сумм.
3. Показатель «риска» события ERC. Группа ARMS (Airline Risk Management Solution Group), созданная при EASA в 2009 г., разработала новый метод управления риском для авиакомпании [35]. Более подробно метод и процесс его применения анализируется в статьях [32, 33]. 
Расчет показателя Event Risk Classification (ERC) «риска» имевшего места события является начальным этапом этого процесса. Отметим, что ARMS, применяя к свершившемуся событию термин «риск», указывает, что речь идет об условном риске, имевшем место в момент события, т.к. в обычном смысле оценка риска для безопасности – это всегда прогноз.
Принимается следующая схема развития события (рис.1).

Рис. 1.Схема развития события, характеризуемого конечным ущербом.

Термины на рис.1 имеют следующие значения.
Фактор опасности - ФО – условие, объект или деятельность, могущие привести к ранениям персонала, повреждению оборудования, сооружений, нарушению взаимодействия элементов системы, утрате материальных ценностей или снижению возможности выполнения предписанных функций. 
Промежуточное событие – ПС - этап развития сценария события, когда большого ущерба можно избежать, только если есть барьер парирования.
Барьер предотвращения– мера, препятствующая наступлению ПС.
Барьер парирования – мера, препятствующая развитию ПС до уровня события с большим ущербом.
Большинство проявлений ФО парируется барьерами предотвращения. Это правильные решения и действия экипажа, процедуры перекрестной проверки, хорошая эргономика кабины, а также действия диспетчера УВД, группы флайт-диспатч, наземного персонала и т. д. Тем ни менее эти барьеры могут не сработать, и тогда наступает ПС. 
ПС - это точка, в которой ход события начинает выходить из-под контроля, граница между «предотвращением» и «парированием». На основании опыта расследования авиационных событий ввод понятия ПС и разделение барьеров БП на две группы представляется вполне оправданным.
Барьеры парирования - это, прежде всего, правильное реагирование экипажа на отказы, исправление ошибок – своих и чужих, а также резервирование основных систем ВС. 
Методика ERC основана на том, что при оценке произошедшего события нас волнуют два главных вопроса:
1)	Каков наиболее вероятный негативный исход ПС при его развитии в смысле того ущерба, который оно могло бы нам принести?
2)	В какой степени то, что ПС не переросло в событие с большим ущербом, объясняется эффективными барьерами парирования, а в какой – простой случайностью, т. е. в какой степени нам повезло.
По ответам на эти два вопроса событие оценивается с использованием специальной матрицы ERC (табл. 1).

Таблица 1. Матрица оценки «риска» события ERC.
Вопрос 1	Вопрос 2	
К какому ущербу могло привести наиболее вероятное негативное развитие данной опасной ситуации?	Какова эффективность оставшихся барьеров между промежуточным событием и вероятным негативным сценарием развития опасной ситуации?	
	Высокая	Средняя	Незначительная	Отсутствует	
Катастрофический ущерб	2500	500	100	50	
Аварийный ущерб 	500	100	20	10	
Средний ущерб	100	20	4	2	
Незначительный ущерб	1	

Уровни ущерба устанавливаются каждой АК, желательно в стоимостном выражении. Для оценки эффективности барьеров используются технологии экспертного оценивания.
Над ERC за любые временные периоды можно выполнять арифметические действия, рассчитывать относительные значения с привязкой к часам налета или выполненным полетам, применять различные методы мониторинга. 
Например, суммарный относительный ERC на 1000 полетов за g-й месяц рассчитывается как:
					(1)
где i = 1, 2, …, m – номер события в течение месяца g;
N – количество полетов за месяц g.
4. Мониторинг с использованием кумулятивных сумм. Описание метода в настоящей статье соответствует [17]. 
Данный метод разработан на базе метода контрольных карт Шухарта и кумулятивных сумм. Напомним, что контрольная карта – это наглядное графическое средство, отражающее состояние технологического процесса. Нормальное течение процесса оценивается по значению выбранного параметра. Устанавливаются границы регулирования, ограничивающие область допустимых значений. Выход точки за границу регулирования служит сигналом о разладке процесса. 
Метод контрольных карт Шухарта применяется для контроля технологических процессов, но он учитывает только текущие значения контролируемого параметра и не учитывает предыдущее его поведение.
Более подходящим для задач оценки изменения уровня БП является кумсумм-метод, основанный на учете кумулятивных сумм. 
Предлагается использовать этот метод для контроля ежемесячного и еженедельного ERC.
Кумулятивная сумма рассчитывается согласно [17] как:
				(2)
где М – выборочное среднее за некоторый период, в течение которого контролируемый параметр (в данном случае ERC) был в норме.
Значение М может быть скорректировано на основе экспертного опроса в соответствие с принятой в АК практикой.
В качестве примера рассмотрим расчет, выполненный на основе данных одной из российских АК за 2012 г. В табл.2 приведены суммарные ежемесячные оценки ERC, рассчитанные по формуле (1).

Таблица 2. Ежемесячные значения ERC.
месяц	янв	фев	мар	апр	май	июн	июл	авг	сен	окт	ноя	
ERC	559	253	489	152	280	36	126	463	359	140	274	

Поскольку демонстрируем только принципиальный подход, принимаем, что параметр М может быть рассчитан как среднее значение ERC за 6 первых месяцев 2012 г.:
M=(559+253+489+152+280)/5=295.
Результаты расчетов кумулятивных сумм по формуле (2) за последующие 5 месяцев приведены в табл.3, а график ежемесячного мониторинга кумулятивных сумм – на рис. 2.

Таблица 3. Расчет кумулятивных сумм для ежемесячного мониторинга.
g  (месяц)	1 (июл)	2 (авг)	3 (сен)	4 (окт)	5 (ноя)	
ERCg-М	-169	168	64	-155	-21	
Sr	-169	-1	232	-91	-176	

Рис. 2. Карта кумулятивных сумм показателя ERC за 5 месяцев 2012 г.

График показывает, как меняется уровень БП относительно приемлемого (нормативного) уровня, который на графике соответствует 0.
Метод лучше работает при больших объемах данных и более частых наблюдениях. На рис. 3 приведен пример еженедельного мониторинга показателя ERC, основанный на данных той же АК.

Рис. 3. Карта кумулятивных сумм показателя ERC при еженедельном мониторинге за период с 03.07.2012 по 16.10.2012 г.

Из графика видно, что в период с середины августа до середины сентября наблюдалось резкое ухудшение состояния БП в авиакомпании.
Мерой количественной оценки ухудшения показателя является наклон кривой графика, который может быть измерен по методике и с применением инструментария, описанного в литературе, в частности, в соответствующем ГОСТ Р 50779.45-2002 [6].
Очевидно, что методика расчета и инструменты измерения уровня потребуют доработки и адаптация к нуждам АК. Однако представляется, что предлагаемый показатель и метод мониторинга свободны от отмеченных выше недостатков других методов и могут использоваться в рамках СУБП АК как внутренний показатель БП и один из инструментов системы принятия решений.
Отметим, что наличие нескольких показателей не противоречит общему подходу ИКАО [36] к оценке уровня БП в АК.
Разработанный в настоящей статье метод выявления отклонений в системе контроллинга может применяться при решении различных практических задач. Например, он может использоваться как один из инструментальных методов оценки необходимости обновления российского парка пассажирских самолетов [27], в том числе применяться при финансово-экономическом обосновании необходимости обновления парка [28]. 
Итак, в настоящей статье разработана и продемонстрирована на реальных примерах процедура выявления требующих вмешательства отклонений методом кумулятивных сумм (на примере мониторинга уровня безопасности полетов как составной части системы контроллинга в авиакомпании).

Список литературы

1.	Бутов А.А., Волков М.А., Макаров В.П., Орлов А.И., Шаров В.Д. Автоматизированная система прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок // Известия Самарского научного центра Российской академии наук. 2012. Том 14. № 4(2). С. 380 – 385.
2.	Бутов А.А., Орлов А.И., Шаров В.Д. Проблемы управления группой авиакомпаний // Управление развитием крупномасштабных систем (MLSD'2011): Материалы Пятой международной конференции (3-5 октября 2011 г., Москва, Россия) Том II. М.: Учреждение Российской академии наук Институт проблем управления им. В.А.Трапезникова РАН, 2011. С. 22 – 25.
3.	Бутов А.А., Шаров В.Д., Макаров В.П., Орлов А.И. Управление безопасностью полетов в авиакомпании на основе предотвращения авиационных событий // Проблемы управления безопасностью сложных систем: Труды ХХ Международной конференции. Москва, декабрь 2012 г. / Под ред. Н.И. Архиповой, В.В. Кульбы. М.: РГГУ, 2012. С. 272 – 275.
4.	Бутов А.А., Шаров В.Д., Макаров В.П., Орлов А.И. Прогнозирование и предотвращение авиационных происшествий при организации и производстве воздушных перевозок // Вестник Самарского государственного аэрокосмического университета имени академика С.П. Королева (национального исследовательского университета). 2012. № 5 (36), часть 2. С. 315 – 319.
5.	Волков М.А., Макаров В.П., Орлов А.И., Рухлинский В.М., Санников И.А., Шаров В.Д. Прогнозирование безопасности полетов и экономическая оценка рисков // Стратегическое планирование и развитие предприятий. Секция 5 / Материалы Тринадцатого всероссийского симпозиума. Москва, 10 – 11 апреля 2012 г. Под ред. чл.-корр. РАН Г.Б. Клейнера. М.: ЦЭМИ РАН, 2012. С. 43 – 45.
6.	ГОСТ Р 50779.45-2002. Статистические методы. Контрольные карты кумулятивных сумм.
7.	Гузий А.Г., Лушкин А.М., Хаустов А.А., Чуйко Т.А. Вероятностный подход к совокупному количественному оцениванию уровня безопасности полетов по «пирамиде рисков» гражданской авиации России // Проблемы безопасности полетов. 2010. № 1. С. 15 – 22.
8.	Зубков Б.В., Поляков П.М., Кармызов М.В. Управление безопасностью полетов. Часть I. Программа обеспечения безопасности полетов. Руководство по управлению безопасностью полетов. Учебное пособие. М.: МГТУ ГА, 2009. 132 с.
9.	Зубков Б.В., Шаров В.Д. Теория и практика определения рисков в авиапредприятиях при разработке системы управления безопасностью полетов. М.: МГТУ ГА, 2010. 196 с.
10.	Контроллинг: учебник / А.М. Карминский, С.Г. Фалько, А.А. Жевага, Н.Ю. Иванова; под ред. А.М. Карминского, С.Г. Фалько. 3-е изд., дораб. М.: ИД «ФОРУМ»: ИНФРА-М, 2013. 336 с.
11.	Кофорова Н.М., Нестерова Т.А. Возможности использования метода факторного анализа отклонений в контроллинге // Экономический анализ: теория и практика. 2011. № 33. С. 59 – 65.
12.	 Лазаришина И.Д. Системные преимущества анализа отклонений с учетом существенности информации // Экономический анализ: теория и практика. 2009. №6(135). С.15 – 19. 
13.	Мердок Дж. Контрольные карты / Пер. с англ. М.: Финансы и статистика, 1986. 132 с.
14.	Митрохин И.Н., Орлов А.И. Обнаружение разладки с помощью контрольных карт // Заводская лаборатория. Диагностика материалов. 2007. Т.73. №5. С. 74 – 78.
15.	 Орлов А.И. Внедрение современных статистических методов с помощью персональных компьютеров // Качество и надежность изделий. №5(21). М.: Знание, 1992. С. 51 – 78.
16.	Орлов А.И. Сертификация и статистические методы (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 1997. Т.63. №3. С.55 – 62.
17.	Орлов А.И. Теория принятия решений. М.: Экзамен, 2006. 574 с.
18.	Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. 2008. №4. С. 12 – 18.
19.	Орлов А.И. Организационно-экономическое моделирование : учебник: в 3 ч. Ч.3: Статистические методы анализа данных. М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. 623 с.
20.	Орлов А.И., Рухлинский В.М., Шаров В.Д. Экономическая оценка рисков при управлении безопасностью полетов // Материалы I Международной конференции «Стратегическое управление и контроллинг в некоммерческих и публичных организациях: фонды, университеты, муниципалитеты, ассоциации и партнерства»: выпуск №1 / Под научн. ред. С.Л. Байдакова и С.Г. Фалько. М.: НП «ОК», 2011. С. 108 – 114.
21.	Орлов А.И., Шаров В.Д. Система прогнозирования показателей безопасности полетов и поддержки принятия решений на основе методологии факторного анализа // Системы управления жизненным циклом изделий авиационной техники: актуальные проблемы, исследования, опыт внедрения и перспективы развития : Тез. докл. III Международной научно-практической конференции (1-2 ноября 2012 г., г. Ульяновск) : в 2 т. Т.1. Ульяновск: УлГУ, 2012. С. 77 – 78.
22.	Орлов А.И., Шаров В.Д. О новом подходе к разработке показателей уровня безопасности полетов в авиакомпании // Системы управления жизненным циклом изделий авиационной техники: актуальные проблемы, исследования, опыт внедрения и перспективы развития: Тез. докл. III Международной научно-практической конференции (1-2 ноября 2012 г., г. Ульяновск): в 2 т. Т.1. Ульяновск: УлГУ, 2012. С. 78 – 79.
23.	Пчелинцева Л.Б. Оценка рисков управления в практике контроллинга // Финансовая аналитика: проблемы и решения. 2012. № 41. С. 51 – 54.
24.	 Статистические методы повышения качества / Пер. с англ. / Под ред. Х. Куме. М.: Финансы и статистика, 1990. 304 с.
25.	Фалько С.Г. Контроллинг для руководителей и специалистов. М.: Финансы и статистика, 2008. 272 с.
26.	Фалько С.Г., Иванова Н.Ю. Управление нововведениями на высокотехнологичных предприятиях. М.: МГТУ им. Н.Э. Баумана, 2007. 256 с.
27.	Хрусталёв Е.Ю., Бурилина М.А. Инструментальные методы оценки необходимости обновления российского парка пассажирских самолетов // Экономический анализ: теория и практика. 2013. №14. С.2 – 11.
28.	Хрусталёв Е.Ю., Бурилина М.А. Финансово-экономическое обоснование необходимости обновления парка пассажирских самолетов // Финансовая аналитика: проблемы и решения. 2013. № 12. С. 2 – 12.
29.	Хрусталёв Е.Ю., Соколов Н.А., Хрусталёв О.Е. Концепция оценки и управления риском при реализации инновационных проектов создания интеллектуальной продукции // Экономический анализ: теория и практика. 2013. № 44. С. 2 – 13.
30.	Шаров В.Д. О некоторых математических и логических ограничениях на использование матрицы риска в СУБП // Научный вестник МГТУ Гражданской Авиации. 2009. № 149. С. 179 – 181.
31.	Шаров В.Д. Применение новой методологии оценки риска опасностей // Проблемы безопасности полетов. 2009. № 12. С. 5 – 12.
32.	Шаров В.Д. Применение новой методологии оценки и мониторинга риска событий в деятельности авиакомпании // Проблемы безопасности полетов. 2009. № 11. С. 17 – 26.
33.	Шаров В.Д. Автоматизация процесса управления безопасностью полетов в авиакомпании // Вторые Чарновские Чтения. Сборник тезисов. Материалы II международной научной конференции по организации производства. Москва, 7 – 8 декабря 2012 г. М.: НП «Объединение контроллеров», 2012. С. 177 – 181.
34.	Шаров В.Д., Макаров В.П., Орлов А.И., Волков М.А., Санников И.А., Рухлинский В.М. Контроллинг при управлении безопасностью полетов // Материалы II Международного Конгресса по контроллингу: выпуск №2 / Под ред. С.Г. Фалько. М.: НП «Объединение контроллеров», 2012. С. 222 – 232.
35.	Nisula J. Operational Risk Assessment. Next Generation Methodology, 2009. [Электрон. ресурс] URL: http://www.easa.europa.eu/essi/documents/ARMS.pdf. (дата обращения 17.03.2013).
36.	Safety Management Manual (SMM), Doc.9859 AN/474, ICAO, Third Edition. – 2012.

References

1.	Butov A.A., Volkov M.A., Makarov V.P., Orlov A.I., Sharov V.D., 2012. Automated system to predict and prevent accidents in the organization and production of air transport // Proceedings of the Samara Scientific Center of Russian Academy of Sciences 4(2), 380 – 385. 
2.	Butov A.A., Orlov A.I., Sharov V.D., 2011. Problem management of the group airlines // Control of the development of large-scale systems (MLSD'2011): Proceedings of the Fifth International Conference (October 3 – 5, 2011, Moscow, Russia) II, 22 – 25.
3.	Butov A.A., Sharov V.D., Makarov V.P., Orlov A.I., 2012. Safety flight management in airlines based on preventing aviation accidents // Control of Complex Systems Safety: Proceedings of the XX International Conference (Moscow, December 2012), 272 – 275.
4.	Butov A.A., Sharov V.D., Makarov V.P., Orlov A.I., 2012. Prediction and prevention of accidents in the organization and production of air transport // Bulletin of the Samara State Aerospace University (National Research University) 5(2), 315 – 319.
5.	Volkov M.A., Makarov V.P., Orlov A.I., Ruhlinsky V.M., Sannikov I.A., Sharov V.D., 2012. Predicting flight safety and economic risk estimation // Strategic planning and development of firms. Section 5 / Proceedings of the Thirteenth Nationwide Symposium (Moscow, 10 – 11 April 2012), 43 – 45 .
6.	GOST R 50779.45-2002. Statistical methods. Control charts of cumulative sums.
7.	Guziy A.G., Lushkin A.M., Khaustov A.A., Chuyko T.A., 2010. The probabilistic approach to the quantitative estimation of the cumulative level of flight safety by means of the "pyramid of risks" of civil aviation in Russia // Problems of flight safety 1, 15 – 22.
8.	Zubkov B.V., Polyakov P.M., Karmyzov M.V., 2009. Safety flight management. Part I. A safety flight program. Guidance on flight safety management. Textbook. M.: MSTUCA, 132 p.
9.	Zubkov B.V., Sharov V.D., 2010. Theory and practice of identifying risks in aviation enterprises in the development of a flight safety management system. M.: MSTUCA, 196 p.
10.	Controlling: the textbook, 2013 / A.M. Karminsky, S.G. Falco, A.A. Zhevaga, N.Yu. Ivanova; ed. A.M. Karminsky, S.G. Falco; 3rd ed.. M.: ID "FORUM"; INFRA-M. 336 p.
11.	Koforova N.M., Nesterov T.A., 2011. The possibility of using the method of factor analysis of deviations in Controlling // Economic Analysis: Theory and Practice 33, 59 – 65.
12.	Lazarishina I.D., 2009. System benefits analysis of deviations based on importance of the information // Economic Analysis: Theory and Practice 6, 15 – 19.
13.	Murdoch J., 1986. Control charts. / Translated from English. M.: Finance and Statistics. 132 p.
14.	Mitrokhin I.N., Orlov A.I., 2007. Detecting deviations using control charts // Industrial Laboratory. Diagnosis materials 5, 74 – 78.
15.	Orlov A.I., 1992. Implementation of modern statistical methods by means of personal computers // The quality and reliability of products. M.: Knowledge 5 (21), 51 – 78.
16.	Orlov A.I., 1997. Certification and statistical methods (generalizing paper) // Industrial Laboratory. Diagnosis materials 3, 55 – 62.
17.	Orlov A.I., 2006. Decision theory. M.: Exam, 574 p.
18.	 Orlov A.I., 2008. Controlling of organizational-economic methods // Controlling 4, 12 – 18.
19.	Orlov A.I., 2012. Organizational-economic modelling: tutorial. Part 3: Statistical methods of data analysis. Moscow: Publishing House of the BMSTU. 623 p.
20.	Orlov A.I., Ruhlinsky V.M., Sharov V.D., 2011. Economic estimation of risks in flight safety control // Proceedings of the I International Conference "Strategic Management & Controlling of non-profit and public organizations: foundations, universities , municipalities, associations and partnerships": Issue number 1 / Ed. S.L. Baidakov and S.G. Falco. M.: NP "OK", 108 – 114.
21.	Orlov A.I., Sharov V.D., 2012. The forecasting system of flight safety indicators and decision support based on the methodology of factor analysis // Systems Product Lifecycle Management Aircraft: Current Issues, Research, Experience in Implementation and Development Prospects: Proc. of reports. III International Scientific-Practical Conference (1 – 2 November, 2012, Ulyanovsk). Ulyanovsk: Ulyanovsk State University 1, 77 – 78.
22.	Orlov A.I., Sharov V.D., 2012. On a new approach to the development of indicators of the level of flight safety in the airline // Systems Product Lifecycle Management Aircraft: Current Issues, Research, Experience in Implementation and Development Prospects: Proc. of reports. III International Scientific-Practical Conference (1 – 2 November, 2012, Ulyanovsk). Ulyanovsk: Ulyanovsk State University 1, 78 – 79 .
23.	Pchelintseva L.B., 2012. Risk assessment in the management practice of controlling // Financial Analytics: Problems and Solutions 41, 51 – 54.
24.	Statistical methods for quality improvement, 1990 / Translated from English. / Ed. Hitoshi Kume. M.: Finance and Statistics, 304 p.
25.	Falco S.G., 2008. Controlling for managers and professionals. M.: Finance and Statistics, 2008. 272 p.
26.	Falco S.G., Ivanova N.Yu., 2007. Innovation management to high-tech enterprises. M.: BMSTU, 256 p.
27.	Khrustalyov E.Ju., Burilina M.A., 2013. Instrumental methods of estimation the need for renovation of the Russian passenger aircraft fleet // Economic Analysis: Theory and Practice 14, 2 – 11.
28.	Khrustalyov E.Ju., Burilina M.A., 2013. Finance-economic justification of the need to update the fleet of passenger aircraft // Financial Analytics: Problems and Solutions 12, 2 – 12.
29.	Khrustalyov E.Yu., Sokolov N.A., Khrustalyov O.E., 2013. The concept of risk estimation and control in the implementation of innovative projects to create of intellectual products // Economic Analysis: Theory and Practice 44, 2 – 13.
30.	Sharov V.D., 2009. On some mathematical and logical restrictions on the use of a risk matrix in the Systems of Control of Flight Safety // Scientific Bulletin of Moscjw State Technical University of Civil Aviation 149, 179 – 181.
31.	Sharov V.D., 2009. Application of a new methodology for estimation the risk of hazards // Problems of Flight Safety 12, 5 – 12.
32.	Sharov V.D., 2009. Application of a new methodology for estimation and monitoring the risk of events in the airline's activity // Problems of Flight Safety 11, 17 – 26 .
33.	Sharov V.D., 2012. Automation of process of flight safety control in airlines // Second Czarnowsky Reading. Book of abstracts. Proceedings of the II international conference on the production organization (Moscow, 7 – 8 December 2012). M.: NP "Association of controllers", 177 – 181.
34.	Sharov V.D., Makarov V.P., Orlov A.I., Volkov M.A., Sannikov I.A., Ruhlinsky V.M., 2012. Controlling the management of flight safety // Proceedings of the II International Congress of Controlling: Issue number 2 / Ed. S.G. Falco. M.: NP "Association of controllers", 222 – 232.
35.	Nisula J., 2009. Operational Risk Assessment. Next Generation Methodology [ Electron. resource] URL: http://www.easa.europa.eu/essi/documents/ARMS.pdf (date of access 17.03.2013).
36.	Safety Management Manual (SMM), 2012. Doc.9859 AN/474, ICAO, Third Edition.